El auge de la inteligencia artificial que "toma decisiones": qué son los agentes y por qué generan preocupación

En el campo de las investigaciones de inteligencia artificial, los agentes están ganando terreno como la próxima gran innovación. Se trata de la evolución de los chatbots como ChatGPT o Claude, que pueden ejecutar tareas de manera autónoma: desde agendar una reunión en un calendario hasta analizar datos y resolver un plan de trabajo.

En la industria tecnológica ya se usan. Algunos casos concretos son sistemas de atención al cliente que responden consultas, ventas personalizadas de productos y hasta a nivel estatal: un ciudadano puede consultar un trámite o agendarlo, como hace con Boti, el chatbot del Gobierno de la Ciudad de Buenos Aires (que también plantea ciertos interrogantes respecto del uso de los datos personales).

Ahora bien, por más cómodos que sean, no dejan de abrir la ventana a diversos problemas: por cada solución que trae la tecnología, aparece un conjunto de problemas asociados.

En cuanto a la seguridad de los usuarios, el acceso a la información personal debe estar bajo los estándares legales de las leyes de protección de datos. Uno de los desafíos más grandes, sin dudas, tiene que ver con la falta de normas comunes a la hora de hablar de proteger esta información, en tanto no todos los países tienen políticas públicas que inspiren confianza, más si se toma en cuenta la enorme cantidad de filtraciones de datos de estos últimos años.

Pero también hay dificultades para pensar en torno a la fiabilidad técnica de estos sistemas (el siempre vigente riesgo de las “alucinaciones”, errores en los que la IA inventa información falsa como si fuera cierta), la transparencia respecto de las interacciones y hasta los problemas éticos de reemplazo de fuerza de trabajo.

Por todas estas cuestiones, Clarín habló con Marcelo Guajardo, Gerente de Asuntos Gubernamentales y Políticas Públicas para Cono Sur de Salesforce, por una reciente investigación que publicó la empresa tech que es líder en CRM (gestión de clientes, ver el whitepaper acá).

─Salesforce habla de una tercera ola de IA con la llegada de los agentes autónomos. ¿Qué diferencia concreta a esta nueva etapa de lo que ya veníamos viendo con la IA generativa? ¿Podés darme un ejemplo concreto de un agente?

─La tercera ola de IA con agentes autónomos representa un avance significativo en la capacidad de los sistemas de IA para operar de manera independiente y tomar decisiones basadas en datos y situaciones complejas. A diferencia de la IA generativa, que se centra en la generación de contenido basado en patrones y datos, los agentes autónomos pueden interactuar de manera más dinámica, y adaptarse a contextos cambiantes.

Para darte un ejemplo concreto, te puedo contar que Wiley (editorial multinacional estadounidense) utiliza Agentforce, el agente autónomo de Salesforce, para ayudar a los clientes con un autoservicio dinámico y conversacional. Agentforce está configurado para responder a preguntas utilizando la base de conocimientos de Wiley y puede resolver automáticamente problemas de acceso a cuentas y restablecer contraseñas.

─¿Qué otras tareas puede hacer?

También clasifica los problemas de registro y pago, dirigiendo a los estudiantes a los recursos apropiados en lugar de inundar a los representantes de servicio con solicitudes. Al encargarse de las consultas rutinarias, libera tiempo para que los agentes humanos atiendan casos más complejos. En sus primeras semanas, superó al chatbot anterior con más de un 40% de mejora en la resolución de casos.

─El white paper hace mucho hincapié en la necesidad de establecer políticas públicas claras para garantizar agentes de IA confiables. ¿Tienen registro de casos de uso de agentes a nivel gubernamental? ¿Ejemplos concretos?

─Efectivamente, nuestro reciente whitepaper “La Próxima Frontera en la IA Empresarial: Modelando las Políticas Públicas para Agentes de IA Confiables” apunta en ese sentido, y construye desde el liderazgo que ha logrado Salesforce en la última década desarrollando IA de forma ética y sostenible.

Estas soluciones basadas en IA son una gran oportunidad de mejorar la eficiencia gubernamental y los servicios al ciudadano. Al aprovechar herramientas como Agentforce, los gobiernos pueden transformar funciones críticas, desde la optimización de las consultas de los ciudadanos hasta la automatización de procesos complejos como las solicitudes de ayuda gubernamental.

Por ejemplo, la GISS (Gerencia de Informática de la Seguridad Social) del Ministerio de Inclusión, Seguridad Social y Migración de España, utiliza Agentforce para gestionar las solicitudes de ingresos mínimos vitales. Los agentes proporcionan un coach basado en IA a los empleados del sector público para ayudarlos a brindar la mejor respuesta al ciudadano y recomendarles la mejor acción basada en datos y casos de uso.

─¿Qué riesgos advierte el trabajo?

─Hay varias cuestiones. Por un lado, es necesario que los agentes de IA estén diseñados y equipados para garantizar entregas de trabajo fluidas a los humanos, que puedan advertir las alucinaciones y corregirlas. Asimismo, que los usuarios sepan cuándo están interactuando con un agente de IA y cuándo están interactuando con un humano. Otra cuestión importante es que las empresas que utilizan agentes de IA sigan directrices éticas y establezcan protocolos y estándares comunes para que exista un comportamiento controlado, predecible y responsable de los agentes.

─El paper señala la posible pérdida de puestos de trabajo, también.

─Es un tema, sí, hay temor con respecto a la posible pérdida de puestos de trabajo; lo que nosotros planteamos desde Salesforce es que esta tecnología sirve para complementar a los humanos, no para reemplazarlos. En el caso de los agentes, el objetivo es usarlos a favor nuestro para que nos ayuden a incrementar la productividad y optimizar el tiempo, agilizando tareas que resultan repetitivas y dejando lugar a las tareas que requieran de un enfoque más humano. Finalmente, los agentes de IA pueden presentar ciertos riesgos en cuanto a privacidad y seguridad de los datos que desarrollaré después.

─¿Qué tipo de regulación propone el trabajo?

─Nuestro whitepaper propone marcos normativos balanceados, con una clara delineación de los roles de los diferentes actores en el ecosistema de IA, respaldada por normas sólidas de privacidad, transparencia y seguridad. También se sugiere la asignación adecuada de responsabilidades en toda la cadena de suministro, y la creación de condiciones que fomenten la adopción generalizada de IA agentiva confiable en todas las industrias y geografías.

─Salesforce maneja una cantidad impresionante de datos personales de usuarios. ¿Cuáles son los principales riesgos que ven en el uso masivo de agentes de IA dentro de las empresas, especialmente en lo que respecta a la privacidad de los datos y la ciberseguridad?

─Los agentes de IA pueden acceder a datos personales y demás datos sensibles para completar sus tareas, por eso estos deben operar con altos estándares de privacidad y seguridad de datos. La falta de una gobernanza adecuada puede llevar a violaciones de la privacidad y el uso indebido de la información. Asimismo, los agentes pueden ser vulnerables a ciberataques que hacen que generen resultados incorrectos, por eso, a medida que los agentes de IA asumen tareas cada vez más complejas, será esencial que las compañías adhieran a las mejores prácticas para la seguridad de la IA y el control de calidad será esencial.

─¿Qué otros riesgos se corren?

─Por otra parte, una falta de claridad en la asignación de responsabilidades en relación con la privacidad y la seguridad de las entidades que participan de la cadena de valor de la IA (proveedores de datos, LLM, plataformas, aplicaciones, etc.). puede generar riesgos. Además, el contenido creado y entregado de forma autónoma por la IA debe estar claramente marcado como tal (por ejemplo, divulgaciones en las respuestas de los agentes a los consumidores o el uso de marcas de agua en una imagen generada por la IA). La falta de transparencia en este caso puede erosionar la confianza y generar preocupaciones sobre la manipulación y el engaño.

─¿Qué oportunidades y desafíos específicos ve Salesforce para la adopción de estos sistemas en América Latina, donde, salvo en casos como Chile y Brasil, hay un atraso en marcos regulatorios (e infraestructura)?

─La región tiene la oportunidad de adoptar esta nueva generación de inteligencia artificial, los agentes de IA, con una visión clara sobre el desarrollo responsable y sostenible de la IA. Si bien algunos países han avanzado más en la discusión sobre sus marcos normativos, existe una ventana para impulsar políticas públicas balanceadas que fomenten la innovación y, al mismo tiempo, garanticen sistemas confiables, protección de datos y respeto por los derechos fundamentales.

─¿Qué dirías que es fundamental para avanzar en el desarrollo de estos agentes?

─Una adopción efectiva de la IA exige un enfoque colaborativo. La alianza entre gobiernos, sector privado y sociedad civil es clave para maximizar el potencial de esta tecnología en el desarrollo económico y social de la región. Un ejemplo concreto es la formación de talento: en América Latina ya existen iniciativas exitosas de capacitación y reconversión laboral que contribuyen a cerrar brechas de habilidades, promover el empleo de calidad y generar oportunidades reales en la economía digital.